Не само AI халюцинира
Може да е преждевременно да се екстраполира от размер на извадка от едно (аз). Но признавам, че паметта ми не е съвършена: не помня някои неща, комплицирам други и понякога си „ припомням “ събития, които в никакъв случай не са се случвали. Подозирам, че някои читатели на FT може да са също толкоз комплицирани. Интелигентна машина може да назова това човешка илюзия.
Ние приказваме доста за генеративни AI модели, халюциниращи обстоятелства. Намираме се на юриста, който показа правосъден документ, съдържащ фиктивни случаи, измислени от ChatGPT. Колега от FT, който накара чатбота да сътвори диаграма на разноските за образование на генеративни AI модели, беше сюрпризиран да види, че най-скъпият, който разпознава, не съществува (освен в случай че моделът няма достъп до вътрешна информация). Както всеки консуматор бързо открива: тези модели са ненадеждни - тъкмо като хората. Интересният въпрос е: дали машините са по-поправими от нас? Може да се окаже по-лесно да пренапишеш код, в сравнение с да пренапишеш мозъка.
Една от най-хубавите илюстрации за погрешността на човешката памет беше свидетелството, обещано от Джон Дийн, юридически консултант на Белия дом в администрацията на Ричард Никсън. По време на чуванията по делото Уотъргейт през 1973 година Дийн е прочут като „ човекът-магнетофон “ поради забележителната си памет. Но без да знае Дийн, Никсън беше конфигурирал същински магнетофон в Овалния кабинет. Следователно откривателите са съумели да сравнят описа на Дийн за сериозните диалози с писмените преписи.
В публикация от 1981 година, анализираща показанията на Дийн, психологът Улрик Найсер акцентира няколко очевидни пропуща и претълкувания на диалозите в описа на юриста – като както и компликацията да се дефинират истината и точността. В своята публикация Найсер прави разграничаване сред семантична и епизодична памет. Дийн беше почти прав, като си спомни цялостната същина на диалозите си с Никсън — и естеството на прикриването на Уотъргейт — даже и да грешеше тъкмо по отношение на детайлите на съответни епизоди.
Човек може да твърди, че огромен езиковите модели вършат противоположното: поради всички данни, които гълтам, те би трябвало да имат добра епизодична памет (въпреки че с ненужни входове могат да генерират ненужни изходи). Но те към момента имат неприятна семантична памет. Въпреки че LLM евентуално би обобщил записите от Овалния кабинет по-вярно, в сравнение с Дийн си спомни диалозите месеци по-късно, той нямаше контекстуално схващане на смисъла на това наличие.
Изследователите работят върху способи за по-нататъшно възстановяване на генеративния AI епизодичната памет на моделите и понижаване на халюцинациите. Неотдавнашен документ от откриватели на Гугъл DeepMind предложи нова методология, наречена Safe — оценител на фактическите данни с усъвършенствано търсене. Генерираните от модел отговори се разрушават на съставни фрази и се ревизират с Гугъл Търсене за действителност или фактическа уместност. Документът твърди, че тази пробна система превъзхожда проверяващите обстоятелства човешки анотатори във връзка с точността и е повече от 20 пъти по-евтина.
„ През идващите няколко години ще можем да проверим резултатите от огромни езикови модели с добра акуратност. Мисля, че това е много потребно “, ми споделя един от създателите на вестника Куок Ле. Халюцинациите са както характерност на LLM, която би трябвало да се приветства, когато става дума за креативност, по този начин и неточност, която би трябвало да се потиска, когато става въпрос за фактология, споделя той.
Междувременно LLM към момента могат да смесват творчеството и фактологията. Например, когато помолих копилота на Microsoft Bing да ми каже международния връх за секване на Ламанша пешком, той решително отговори: „ Световният връх за секване на Ламанша напълно пешком се държи от Кристоф Вандрач от Германия, който приключи прекосяване за 14 часа и 51 минути на 14 август 2020 година “ Удобно, той даже даде откъс за този факт. За страдание препратката се оказа публикация, оповестена предходната година, подчертаваща халюцинациите, генерирани от ChatGPT.
Не би трябвало да се фокусираме единствено върху това по какъв начин се основава наличие, само че и по какъв начин се приземява, съгласно Мария Шнел, гл. езиков чиновник в RWS, който дава механически задействани текстови и преводачески услуги на повече от 8000 клиенти в 548 езикови комбинации. В свят, в който наличието е все по-евтино и навсякъде, ще стане още по-важно да се приспособява информацията към съответна публика във формат, език и културен подтекст, които те схващат, а това изисква човешко отношение.
„ Точността е относително лесна за автоматизиране. Уместността не е даденост “, споделя Шнел. „ Трябва да помислим по какъв начин се получава наличието и това е мястото, където AI се бори. “
Поне за момента хората и машините могат да работят плодотворно дружно, с цел да усилят другите си качества и да сведат до най-малко съответните си дефекти.
